모임 Multi LLM 통합 관리 서비스

1. 프로젝트의 시작 동기

현재 글로벌 클라우드 기업에서 재직중이며, 업무 과정에서 발견한 고객의 페인포인트를 기반으로 프로젝트 시작하게 되었습니다.

아이템 한줄 설명 : “LLM API 인프라 관리를 효율적이고 간편하게”

2. 배경 : 오늘날  LLM을  활용하는 기업 중 자체 LLM을 개발하거나 오픈소스를 메인으로 활용하는곳은 극소수이며,

3. 85%이상이 주요 프로바이더에서 제공하는 LLM을  API 형태로 활용합니다.

4. 그리고 이들  대부분 여러 프로바이더로부터  LLM API를  멀티로 동시에 사용하는 것이 일반적입니다. 

LLM을 한곳이 아닌 여러곳을 사용하는 이유는 몇 가지가 있는데, 주요 프로바이더가 끊임없이 성능이 개선된 신규 모델을 출시하므로

기업 입장에서는 적접 여러개를 활용하며 성능을 비교해야하고,  LLM의 특성상 무엇이 최고의 모델인지 절대적인 기준이 없어 알기 어렵다는 점입니다.

또한 주요 CSP들이 공격적으로 크레딧을 제공하므로 이에 따른 모델 갈아타기도 빈번하며,

마지막으로는 여러곳에 트래픽을 분산함으로써 한곳의 프로바이더가 장애가 나는 경우에 대비하여 서비스의 안정성을 확보하기 위함입니다.

문제인식 :

그런데 이렇게 여러 프로바이더 들로부터 LLM API를 활용해서 실제 서비스를 운영한다는 것은 기업입장에서 결코 쉬운일이 아닙니다.

아래와 같은 페인포인트가 있습니다.

우선 첫번째로

각 프로바이더별로 계정을 각각 생성해야하며, 수십페이지에 달하는 API문서 및 복잡한 과금 체계등에 대한 이해를 바탕으로 서비스를 개발하고 운영해야 합니다.

두번째는

매달 끊이지 않고 새로 출시되는 모델들을 모니터링하면서 성능을 비교해야 하고, 이 과정에서 요구되는 프로바이더별 정책업데이트에 지속적으로 대응해야 합니다.

세번째는

기술지원이 필요한 경우에도 여러 프로바이더를 사용하면 비례해서 관리 포인트가 증가합니다. 

솔루션 : Multi Cloud LLM Orchestration Service 입니다.

차별점 1. 모든 CSP의 LLM API를 표준화하여 하나의 인터페이스로 호출

차별점 2. 상위 프로바이더와 연계한 다양한 구매 옵션 제공

차별점 3. AI Agent 기반 통합 서포트 티켓 시스템으로 빠른 기술 지원 제공

타겟 고객 : LLM을 활발히 활용하는 스타트업, 엔터프라이즈 기업을 대상으로 합니다.

(물론 개인개발자, 소규모 스타트업등 LLM을 테스트 용도로 사용하는 개발자도 롱테일 타겟입니다)

2. 회의 진행/모임 방식 

1주일에 2회 모임 예정입니다. (1회 1시간 씩)

온라인 1회 : 줌

오프라인 1회: 강남/판교 인근 카페 혹은 스터디룸 (주로 금요일 오후~저녁 시간 선호)

팀 커뮤니케이션 : 슬랙

3. 저의 경험 및 역할

- 총 직장 경력은 16년차입니다. 현재 재직 중인 클라우드 회사에서 스타트업 세그먼트 클라우드 사업을 총괄하고 있습니다.

과거 일부 스타트업에서 근무한 경험도 있습니다.

제 장점은 모르는 분야에 대한 학습 커브가 빠르다는 점이고, 주변의 의견에 열려 있는 편입니다.

전문 개발자는 아니지만 직접 앱을 개발하여 출시한 경험도 있으며, 현재 기획 중인 서비스는 프론트엔드를 직접 만들어 보고 있습니다.

- 저는 팀 리더로서 사업 및 제품 기획 등 PM역할을 할 계획입니다.

4. 기타

현재 창업 경연대회 참여중이며 참여중인 프로그램의 지원을 받아 전문적인 IR 자료를 작성중입니다.

제품의 프론트엔드는 제가 직접 어느정도는 구현하였으며, 실제 작동하는 서비스를 만들기 위한 백엔드개발이 필요합니다.

서비스의 목적이 여러 클라우드 회사에서 제공하는 LLM API를 통합 관리할 수 있는 플랫폼이므로, 통합 API개발 경험이 있으신분,

그리고 AWS, AZURE ,GCP 및 OpenAI, Claude등 주요 LLM API 제공자의 LLM을 능숙하게 잘 활용하시는 분이 팀원으로 합류해주시면 좋겠습니다.